((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
* OpenAI a déclaré qu’un agent autonome s’était échappé de son environnement de confinement, avait accédé à Internet et avait piraté Hugging Face
* OpenAI a qualifié cette évasion d’incident cybernétique sans précédent impliquant des capacités cybernétiques de pointe
* Le cofondateur de Hugging Face a déclaré que l’entreprise soupçonnait que le piratage provenait d’un laboratoire de recherche de pointe
(Ajout de détails sur le piratage et le contexte) par Raphael Satter
OpenAI a déclaré mardi qu’un agent autonome alimenté par ses modèles avancés d’intelligence artificielle s’était rebellé lors d’un test de sécurité et avait déclenché un piratage qui a compromis l’infrastructure de la start-up d’IA Hugging Face la semaine dernière.
Le créateur de ChatGPT testait les capacités de certains de ses modèles les plus avancés dans un environnement contrôlé, mais l’agent a échappé au confinement, a accédé à Internet et s’est introduit chez Hugging Face pour atteindre son objectif de test.
Cet incident montre que les capacités croissantes de l’IA alimentent déjà la menace de sécurité que les experts redoutaient depuis longtemps, et que même les meilleurs développeurs peuvent être pris au dépourvu par des failles que leurs modèles sont capables d’exploiter.
Cette évasion a constitué “un cyberincident sans précédent, impliquant des capacités cybernétiques de pointe” et OpenAI renforce actuellement ses mesures de protection, a déclaré la société dans un article de blog .
L’affaire a également retenu l’attention car Hugging Face, basé à New York, a déclaré avoir utilisé un modèle chinois open source pour contenir l’attaque, les principaux modèles américains, incapables de distinguer un défenseur d’un attaquant, ayant refusé de traiter les données nécessaires à l’analyse.
La société a indiqué dans un article de blog publié la semaine dernière qu’elle avait utilisé le modèle GLM-5.2 de Zhipu AI pour l’analyse, ce qui lui a également permis de conserver les données des attaquants et leurs identifiants au sein de ses systèmes.
Le GLM-5.2 et le Kimi K3 de Moonshot, basé à Pékin , ont récemment fait sensation dans la Silicon Valley grâce à des capacités proches de celles des meilleurs modèles américains, à moindre coût et sans les restrictions qui empêchent leurs rivaux américains de les utiliser dans des domaines tels que la cybersécurité.
“Lorsqu’un modèle de pointe vous attaque et se déplace latéralement au sein de votre infrastructure, les défenseurs ont besoin d’un accès étendu à des outils de pointe en l’espace de quelques heures, voire de quelques minutes, plutôt que d’être orientés vers un programme d’application fermé et soumis à un contrôle rigoureux pour accéder au modèle,” a déclaré Thomas Wolf, cofondateur de Hugging Face, sur X.
UN PRÉSAGE DE CE QUI NOUS ATTEND
Le piratage subi par Hugging Face, qui héberge des modèles linguistiques de grande envergure et des ensembles de données open source, a secoué la communauté de la cybersécurité après que l’entreprise a déclaré la semaine dernière que cette intrusion “ne ressemblait à rien de ce que nous avions géré auparavant” et “avait été menée, de bout en bout, par un système d’agents IA autonomes.”
La révélation par OpenAI que ses modèles avancés étaient à l’origine de la faille, bien qu’ils aient été placés dans ce qu’elle a décrit comme “un environnement hautement isolé,” risque d’intensifier les inquiétudes concernant la puissance et les risques liés aux modèles de pointe.
Le député Greg Casar, un démocrate du Texas, a qualifié cet incident d’alarmant.
“L’IA se développe à un rythme extrêmement rapide, sans véritable réglementation pour assurer notre sécurité,” a-t-il déclaré dans un communiqué, appelant à la mise en place de tests de sécurité indépendants obligatoires, à la divulgation obligatoire des incidents de sécurité et à une coopération internationale “afin de protéger la population d’une catastrophe absolue.”
Le Bureau du directeur national de la cybersécurité, l’agence américaine de cyberdéfense (CISA) et l’Agence nationale de sécurité américaine (NSA) n’ont pas immédiatement répondu aux demandes de commentaires.
Katie Moussouris, directrice générale de Luta Security, a déclaré que cet incident était un signe avant-coureur des failles à venir, affirmant que les modèles actuels étaient “comme les pieuvres les plus rusées au monde, spécialistes de l’évasion, dotées de tentacules préhensibles illimités et capables de se faufiler partout.”
Elle a ajouté que “les laboratoires et les évaluateurs gouvernementaux doivent travailler à la mise en place de moyens permettant de contenir, de surveiller et d’alerter les parties concernées lorsqu’une IA réalise un nouveau tour à la Houdini, idéalement avant qu’elle ne cause du tort à un tiers. Aucun moyen de ce type n’existe à l’heure actuelle.”
Matt Suiche, ingénieur chez Tolmo, une entreprise spécialisée dans la cybersécurité des IA agentiques, a déclaré que cet incident montrait que les modèles de pointe “comblaient l’écart avec les attaquants les plus sophistiqués.” Il a toutefois précisé que les types de failles décrits dans l’article de blog d’OpenAI pouvaient être mis en œuvre à l’aide de technologies disponibles bien au-delà des murs des laboratoires de recherche de pointe.
“C’est ce que nous avons déjà constaté en interne: avec nos agents, nous obtenons déjà des résultats de ce type,” a déclaré M. Suiche. “Nous n’avons même pas besoin d’utiliser les modèles les plus récents.”
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer